Support Vector Machines in Classification and Regression Problems

117 σ.Η μηχανική μάθηση έχει ως στόχο τη δημιουργία αλγορίθμων ικανών να βελτιώνουν την απόδοση τους, αξιοποιώντας προγενέστερη γνώση και εμπειρία, με σκοπό την εξαγωγή χρήσιμων συμπερασμάτων και την περιγραφή φαινομένων, μέσω της επεξεργασίας δεδομένων τεράστιου, πολλές φορές, όγκου. Το ζητούμενο στην περίπτωση της επιβλεπόμενης μάθησης είναι η κατασκευή ενός μοντέλου που αναπαριστά τη γνώστη που αποκτήθηκε μέσω της εμπειρίας και το οποίο στη συνέχεια χρησιμοποιείται για την αξιολόγηση νέων παρατηρήσεων. Μία από τις πιο οικείες μεθόδους περιγραφής φαινομένων είναι η ταξινόμηση, η ένταξη δηλαδή κάθε παρατήρησης σε μία ομάδα, από ένα πεπερασμένο πλήθος υποψήφιων ομάδων. Η παρούσα εργασία επικεντρώνεται στην παρουσίαση ενός πολύ διαδεδομένου αλγόριθμου ταξινόμησης, προερχόμενου από τον τομέα της μηχανικής μάθησης, με όνομα «Μηχανή Διανυσματικής Υποστήριξης» (Support Vector Machine - SVM). Η ανάπτυξη του θεωρητικού υπόβαθρου του αλγόριθμου παρουσιάζεται σταδιακά, ώστε να γίνει κατανοητή από τον αναγνώστη όλη η διαδρομή. Πιο συγκεκριμένα, το πρώτο κεφάλαιο αποτελεί μια εισαγωγή στους αλγόριθμους εξόρυξης δεδομένων (Data Mining) και σε σχετικές εφαρμογές αυτών. Στο δεύτερο κεφάλαιο παρουσιάζονται οι θεμελιώδεις έννοιες που απαιτούνται για την κατανόηση των SVMs. Στο τρίτο και στο τέταρτο κεφάλαιο γίνεται μία λεπτομερής αναφορά στις Μηχανές Διανυσματικής Υποστήριξης και στην Παλινδρόμηση με SVM, αντίστοιχα. Στη συνέχεια, στο πέμπτο κεφάλαιο παρουσιάζουμε τις μεθόδους αξιολόγησης του μοντέλου ενώ στο έκτο κεφάλαιο κάνουμε μία μικρή αναφορά στην επιλογή χαρακτηριστικών με SVM. Στο έβδομο και τελευταίο κεφάλαιο παρουσιάζουμε τρεις εφαρμογές καθώς και την ερμηνεία των αντίστοιχων αποτελεσμάτων, με σκοπό να αξιολογήσουμε τη γνώση που αποκτήσαμε.The aim of machine learning is to develop algorithms capable of improving their own performance, exploiting existing data, stored in huge databases, in order to discover knowledge and interpret several phenomena. Supervised learning aims in creating a model that takes into account the knowledge adapted by experience, and then uses it for evaluating new observations. One of the most common methods for describing phenomena is through classification. Where a particular object is classified to one of several available classes of objects. The presentation thesis focuses on one of the most promising classification algorithms in the field of machine learning, the «The Support Vector Machine» (SVM). The presentation of the theoretical foundation advances gradually, starting from the most intuitive classification algorithm and reaching up to the optimized approach of SVM, so that it΄s easier for the reader to follow. More specifically, the first chapter is an introduction to data mining algorithms and some related applications. The second chapter presents the fundamental concepts required for an understanding of SVMs. In the third and fourth chapter, there is a detailed report on Support Vector Machines and Regression with SVM, respectively. Then, the fifth chapter presents the evaluation methods of the model while in the sixth chapter a short reference to the feature selection with SVM in made. In the seventh and final chapter three applications and the interpretation of the corresponding results are presented, thus we are able to evaluate the knowledge gained.Δανάη Π. Γιαννούλ